Nguyễn Hữu Thận không chỉ am tường về thiên văn mà còn cả toán pháp. Suốt thời gian làm quan dù bận việc triều chính ông vẫn chú tâm nghiên cứu toán thuật. Sau khi về hưu, năm 1829, ở tuổi 72 ông hoàn tất bộ  Ý Trai toán pháp nhất đắc lục. Theo một số nhà nghiên cứu, bộ toán thư của Nguyễn Hữu Thận gồm 8 quyển (chương):

• Quyển 1: Bảng số 81 ô (9x9), khảo về việc đo lường, cân
• Quyển 2: Phép phương điền (đo diện tích ruộng đất)
• Quyển 3: Phép sai phân (tính sai số)
• Quyển 4: Phép khai bình phương (tìm căn bậc hai)
• Quyển 5: Phép câu cổ (cách tính theo tương quan giữa các cạnh bên với cạnh huyền của tam giác vuông)
• Quyển 6: Phương, viên, tà, giác, biên tuyến, diện thể (tính chu vị, diện tích các hình)
• Quyển 7: Giải 47 bài toán minh hoạ, liên quan đến phép phương trình (đại số học), và các nghiên cứu ma phương.
• Quyển 8: Phép lập phương (tìm thể tích và căn bậc 3).

Lý thuyết ma phương trước đó được nhiều nhà toán học trên thế giới nghiên cứu; nhưng ở Việt cho đến lúc bấy giờ thi hoàn toàn lạ lẫm. Nguyễn Hữu Thận đã bước vào thế giới bí ẩn của những con số và khám phá được mối liên hệ giữa chúng, như đánh giá của Giáo sư Hoàng Xuân Hãn: “Lần đầu tiên một nhà toán học Việt là ông bàn tới ma phương”. Không chỉ bàn tới mà Nguyễn Hữu Thận còn đi xa hơn một bước là lập những ma phương số ô chẵn, vốn phức tạp hơn[5]; trong khi các nhà toán học nổi tiếng trước đó ở Á, Âu phần nhiều là xây dựng ma phương với ô số lẻ[6].